Heise 06.10.2026
18:40 Uhr

heise+ | AirLLM: Große KI-Modelle auf schwachen Grafikkarten starten


Mit dem GitHub-Repository AirLLM können Sie gewaltige KI-Modelle lokal auf wenigen GByte VRAM laufen lassen. Doch die Sache hat einen großen Haken.

heise+ | AirLLM: Große KI-Modelle auf schwachen Grafikkarten starten

Endlich leistungsstarke KI-Modelle auf der eigenen Hardware laufen lassen: Für viele PC-Nutzer, die lokale KI einsetzen, ist das ein unerreichter Traum. An den Modellen scheitert es nicht; kostenlos nutzbare große Open-Weights-LLMs mit Dateigrößen von über 50, 250 oder 500 GByte gibt es zur Genüge. Doch die benötigte Hardware ist kostspielig und wird immer teurer. Eine potenzielle Lösung verspricht AirLLM: Mit dem Open-Source-Projekt laufen große Modelle auch auf Gaming-Hardware mit kleinen Grafikkarten.